gpu 矩陣運(yùn)算SEARCH AGGREGATION
回答:這個(gè)問(wèn)題，對(duì)許多做AI的人來(lái)說(shuō)，應(yīng)該很重要。因?yàn)椋@卡這么貴，都自購(gòu)，顯然不可能。但是，回答量好少。而且最好的回答，竟然是講amazon aws的，這對(duì)國(guó)內(nèi)用戶，有多大意義呢？我來(lái)接地氣的回答吧。簡(jiǎn)單一句話：我們有萬(wàn)能的淘寶啊！說(shuō)到GPU租用的選擇。ucloud、ucloud、ucloud、滴滴等，大公司云平臺(tái)，高大上。但是，第一，非常昂貴。很多不提供按小時(shí)租用，動(dòng)不動(dòng)就是包月。幾千大洋撒出去，還...
Nino
|
2328人閱讀
回答:這個(gè)就不用想了，自己配置開(kāi)發(fā)平臺(tái)費(fèi)用太高，而且產(chǎn)生的效果還不一定好。根據(jù)我這邊的開(kāi)發(fā)經(jīng)驗(yàn)，你可以借助網(wǎng)上很多免費(fèi)提供的云平臺(tái)使用。1.Floyd，這個(gè)平臺(tái)提供了目前市面上比較主流框架各個(gè)版本的開(kāi)發(fā)環(huán)境，最重要的一點(diǎn)就是，這個(gè)平臺(tái)上還有一些常用的數(shù)據(jù)集。有的數(shù)據(jù)集是系統(tǒng)提供的，有的則是其它用戶提供的。2.Paas，這個(gè)云平臺(tái)最早的版本是免費(fèi)試用半年，之后開(kāi)始收費(fèi)，現(xiàn)在最新版是免費(fèi)的，當(dāng)然免費(fèi)也是有限...
enda
|
1207人閱讀
回答:1.數(shù)據(jù)量太大，比如上億，就用oracle，優(yōu)點(diǎn)上億數(shù)據(jù)對(duì)Oracle來(lái)說(shuō)輕飄飄的，也不用太多優(yōu)化配置，缺點(diǎn)安裝比較麻煩，上手比較慢。2.數(shù)據(jù)量較大，比如千萬(wàn)級(jí)，用postgresql，它號(hào)稱對(duì)標(biāo)Oracle，處理千萬(wàn)級(jí)數(shù)據(jù)還是可以的，也是易學(xué)易用。3.數(shù)據(jù)量一般，比如百萬(wàn)級(jí)，用mysql，這個(gè)級(jí)別的數(shù)據(jù)量mysql處理還是比較快的。4.數(shù)據(jù)量較小，比如十萬(wàn)以下，sqlite、access都可以。...
yearsj
|
1525人閱讀
回答:AI人工智能絕對(duì)會(huì)成為未來(lái)最大的變革之一，但是這能否成為一種趨勢(shì)我持懷疑態(tài)度。因?yàn)锳I技術(shù)需要的數(shù)據(jù)樣本和硬件投入都是非常高規(guī)格的，只有那些滲透到生活場(chǎng)景中的大型科技公司才有能力去經(jīng)營(yíng)這一事業(yè)。放一組資料：2014年，F(xiàn)acebook的DeepFace人臉庫(kù)包含了4030位樣本人物的4400萬(wàn)張圖，算法方面由多達(dá)8層網(wǎng)絡(luò)、1.2億訓(xùn)練參數(shù)的系統(tǒng)來(lái)支持。而谷歌的FaceNet數(shù)據(jù)庫(kù)規(guī)模更大，容量為來(lái)...
chengtao1633
|
713人閱讀
...效率方面支持稀疏張量（Sparse Tensor），讓用戶通過(guò)稀疏矩陣訓(xùn)練模型。下面，量子位將分別詳述這兩個(gè)新特性。Tesla V100 加速卡內(nèi)含 Volta GV100 GPU支持英偉達(dá)Volta GPU架構(gòu)MXNet v0.12增加了對(duì)英偉達(dá)Volta V100 GPU的支持，讓用戶訓(xùn)練深度...
...務(wù)之一，是學(xué)習(xí)網(wǎng)絡(luò)的每一層的權(quán)重，這可以通過(guò)向量或矩陣運(yùn)算來(lái)實(shí)現(xiàn)。TensorFlow使用 Eigen作為矩陣加速庫(kù)，而 Caffe、CNTK、MXNet和Torch采用OpenBLAS、Intel MKL 或 cuBLAS 來(lái)加快相關(guān)矩陣運(yùn)算。所有這些工具包都引入了cuDNN，這是一個(gè)...
...，它們涉及到在一維或二維數(shù)組（這里我們稱其為向量或矩陣）上進(jìn)行重復(fù)的乘法和加法運(yùn)算。同時(shí)線性代數(shù)適用范圍異常廣泛，從計(jì)算機(jī)游戲中的圖像渲染到核武器設(shè)計(jì)等許多不同的問(wèn)題都可以被它解決或近似計(jì)算，關(guān)鍵的線...
...入輸出，子圖(c)描述了update_W的計(jì)算邏輯。首先明確MatMul矩陣運(yùn)算法則，假設(shè) z=MatMul(x, y)，則有dx = MatMul(dz, y)，dy = MatMul(x, dz)，由此可以推出dW=MatMul(dAdd, x)。在子圖(a)中左下側(cè)的節(jié)點(diǎn)b就是輸入節(jié)點(diǎn)x，dAdd由Add_grad計(jì)算輸出。update_W...
...函數(shù)，以及豐富的、易于獲取的文檔。其主要設(shè)計(jì)是處理矩陣的，因此，幾乎所有的函數(shù)和運(yùn)算都向量化了，也就是說(shuō)它們可以管理標(biāo)量以及向量、矩陣和張量（往往會(huì)有）。因此，其能更高效地避免循環(huán)（可能的時(shí)候），以及...
...到 RNN 的狀態(tài)機(jī)會(huì)整體非常復(fù)雜，因?yàn)槔锩鏁?huì)有非常多個(gè)矩陣要運(yùn)轉(zhuǎn)，不僅要支持多路用戶，還有里面的非線性函數(shù)都有非常大的區(qū)別。所以說(shuō)在整個(gè)硬件架構(gòu)過(guò)程做了一個(gè)重新設(shè)計(jì)，能夠支持多路用戶，也能夠支持 RNN，如 LSTM ...
...。從FDH定義中可以看出MatMulGrad本質(zhì)上還是MatMul操作。在矩陣求導(dǎo)運(yùn)算中：MatMulGrad的測(cè)試用例core/ops/math_grad_test.cc文件，要調(diào)試這個(gè)測(cè)試用例，可通過(guò)如下方式：4.4 Conv2d關(guān)于conv2d的python調(diào)用部分和C++創(chuàng)建部分可參考MatMul中的描述...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說(shuō)合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關(guān)性能圖表。同時(shí)根據(jù)訓(xùn)練、推理能力由高到低做了...
李濤
鄒立鵬
